AI Papers Daily

#image editing

5 篇

What to Edit Next: Visually Aligned Image-Editing Follow-Up Suggestions in Conversational Systems

视觉对齐的图像编辑跟随建议：三阶段学习框架

🧭 多模态 query 推荐 · RL 对齐 ★ 深度解读

Alibaba Qwen Business Unit · Southeast University

三阶段框架结合人工意图、点击偏好与源-目标视觉验证，将视觉不一致率从3.7%降至0.9%，在线CTR提升32.70%

📌 工作参考价值（4 点）

• 位置感知点击偏好对：利用点击建议仅与上方未点击建议配对，减少展示位置偏差，适合任何有曝光顺序的推荐场景（如电商搜索推荐）。
• 多目标GRPO优化：组合点击偏好、格式有效性、PPL、内容感知长度、列表内多样性五维奖励，使用动态文本侧权重调整长度与多样性压力，可迁移至生成式推荐列表的强化对齐。
• 图像优先源-目标验证：将编辑指令拆解为所需源（必须存在）与目标（不应已满足），分步检查视觉条件，可作为多模态Agent的动作校验器，避免幻觉推荐。
• SFT数据构建流水线：从真实会话与人工意图表中用大模型生成候选，再经多级验证形成监督信号，解决了缺乏推荐标签时的冷启动问题。

QueryRec | 2026-08-02 | HF Daily | score 8/10

multimodal recommendationimage editingvisual groundingreinforcement learningclick preferenceGRPO

CanvasAgent: Enabling Complex Image Creation and Editing via Visual Tool Orchestration

CanvasAgent：通过视觉工具编排实现复杂图像创建与编辑

🧭 多模态代理 · 视觉工具编排

Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)

提出数据集 CanvasCraft 与多模态代理 CanvasAgent，通过 SFT+GRPO 训练，实现多工具协同的复杂图像编辑工作流

📌 工作参考价值（4 点）

• 电商商品图复杂编辑（多步骤生成、分割、文字叠加、增强）可借鉴多工具代理编排思路，将现有图像模型封装为工具，由 LLM 代理按需调用，实现自动化工作流。
• CanvasCraft 数据构建方式：自动合成多步编辑轨迹（生成→定位→分割→替换→融合），可迁移至构建商品图像处理指令数据集，用于训练客服或运营代理。
• SFT+GRPO 两阶段训练范式与混合奖励（结果质量+过程合理性）可用于推荐或搜索代理的多步决策优化，提升轨迹合理性与最终效果。
• 代理在 rollout 中实时检查中间图像状态并动态修正工具选择，该闭环反馈机制可启发构建商品推荐可视化解释代理，按中间反馈调整推荐策略。

Multimodal | 2026-07-05 | HF Daily | score 6/10

multimodal agenttool orchestrationimage editingGRPOdatasetSFT

Edit the Bits, Diff the Codes: Bitwise Residual Editing for Visual Autoregressive Models

编辑比特，差分代码：视觉自回归模型的位级残差编辑

🧭 视觉自回归模型的训练无关编辑

LMU Munich · Munich Center for Machine Learning (MCML)

在视觉自回归模型中引入位级伯努利引导与多尺度残差码重注入，实现背景保持的精准图像编辑。

📌 工作参考价值（4 点）

• 训练无关的编辑思路可直接用于电商商品图的快速迭代，无需微调生成模型。
• 位级伯努利引导的闭式信任区域优化可作为其他生成任务（如图文匹配）的安全采样策略。
• 多尺度残差码的门控注入方法能保证编辑区域外像素完全一致，适合生成式推荐的视觉保真需求。
• 源-目标对比的负向引导技巧可复用到文本到图像生成的控制中，提升语义对齐。

Multimodal | 2026-06-11 | cs.CL | score 6/10

image editingvisual autoregressivebitwise-residualtraining-freeBernoulli guidanceresidual code

From Plans to Pixels: Learning to Plan and Orchestrate for Open-Ended Image Editing

从计划到像素：学习规划与编排以实现开放式图像编辑

🧭 多模态图像编辑 · 奖励驱动的规划编排

通过基于奖励的规划-执行耦合，让模型自主学会分解并执行抽象多步编辑指令

📌 工作参考价值（4 点）

• 电商商品图自动化：可将“让图片更吸引素食者”这类抽象指令自动分解为替换肉类、添加植物元素、调整色调等子任务，并选择适当的修图工具（如背景移除、目标替换）逐步执行。
• RL + VL 判官范式：借鉴用视觉语言模型（如 CLIP）作为奖励函数的做法，在创意生成、广告设计等场景中，将人类偏好量化为 VL 相似度或文本对齐分数，训练执行策略。
• 规划器与执行器解耦：规划器（生成步骤序列）与执行器（选择区域和工具）分离，可利用历史成功轨迹微调规划器，实现迭代改进；在电商多步素材生成中可类似分离“构思步骤”与“执行修图”。
• 从演示学习转向体验学习：避免手工规则或模仿教师，直接根据最终图像质量反馈来优化编排策略，这一思路可迁移到其他 Agent 系统，如对话式商品推荐中的多轮交互规划。

Multimodal | 2026-05-14 | cs.CV | score 7/10

image editingplanningorchestrationreward learningvision-language judgelong-horizon

Does Synthetic Layered Design Data Benefit Layered Design Decomposition?

合成图层设计数据是否有利于图层设计分解？

🧭 图形设计图层分解 · 合成数据增强

Hong Kong University of Science and Technology · WeBank

纯合成数据训练在图形图层分解任务上超越真实数据集，且可扩展至数万样本。

📌 工作参考价值（4 点）

• 电商商品图分层编辑：可直接用纯合成数据训练图层分解模型，摆脱对难以获取的专有分层 PSD 文件的依赖，降低数据成本。
• 自动化标注流程：结合 VLM 自动预测图层边界框并生成文本描述，实现训练样本的自动化构造，提升迭代效率。
• 数据分布控制：合成数据可灵活调整图层数量分布，避免真实数据长尾问题，提升模型对不同复杂度设计的泛化能力。
• 训练规模参考：实验表明约 5 万张合成图像即可达到性能饱和，为实际部署时的数据预算提供直接参考。

Multimodal | 2026-05-13 | HF Daily | score 6/10

synthetic datalayered designimage editingdata-centricVLMgraphic design